Compared with model-based control and optimization methods, reinforcement learning (RL) provides a data-driven, learning-based framework to formulate and solve sequential decision-making problems. The RL framework has become promising due to largely improved data availability and computing power in the aviation industry. Many aviation-based applications can be formulated or treated as sequential decision-making problems. Some of them are offline planning problems, while others need to be solved online and are safety-critical. In this survey paper, we first describe standard RL formulations and solutions. Then we survey the landscape of existing RL-based applications in aviation. Finally, we summarize the paper, identify the technical gaps, and suggest future directions of RL research in aviation.
translated by 谷歌翻译
外部磁场可用于远程控制小尺寸的机器人，使其具有多样化的生物医学和工程应用的候选人。我们表明，我们的磁动毫罗罗布特是高度敏捷的，并且可以执行各种机车任务，例如枢轴行走和在水平面翻滚。在这里，我们专注于控制枢轴行走模式中该毫无米罗罗布特的运动效果。开发了系统的数学模型，派生了运动模型。还研究了机器人运动中扫描和倾斜角度的作用。我们提出了两个控制器来调节枢轴步行者的步态。第一个是比例几何控制器，它决定了Millobot应该使用的正确枢轴点。然后，它基于毫无槌和参考轨迹的中心之间的误差按比例地调节角速度。第二控制器基于梯度下降优化技术，其表示控制动作作为优化问题。这些控制算法使得MilliRobot能够在跟踪所需的轨迹时产生稳定的步态。我们进行一组不同的实验和模拟运行，以确定所提出的控制器在跟踪误差方面的不同扫描和倾斜角度的有效性。这两个控制器表现出适当的性能，但观察到基于梯度下降基于的控制器产生更快的收敛时间，更小的跟踪误差和更少的步数。最后，我们对扫描角度，倾斜角度和步进时间对跟踪误差的影响进行了广泛的实验参数分析。正如我们所预期的那样，基于优化的控制器优于基于几何的控制器。
translated by 谷歌翻译
小型机器人提供对更大的空间的访问空间。这种类型的访问在药物递送，环境检测和小型样品的集合之类的应用中至关重要。然而，有一些任务是不可能使用包括组装和制造的一个机器人，以小规模，操纵微型和纳米物体，以及基于机器人的小规模材料的结构。解决此问题的解决方案是使用一组机器人作为系统。因此，我们专注于可以使用一组小规模机器人实现的任务。这些机器人通常由于其尺寸限制而外部驱动。然而，一个人面临使用单个全局输入控制一组机器人的挑战。我们提出了一种控制算法，以在预定义位置定位蜂拥的各个成员。单个控制输入适用于系统，并以相同的方向移动所有机器人。我们还通过使用不同的长度机器人添加另一个控制模态。电磁线圈系统施加外力并转向毫流。这个毫米可以以各种运动模式移动，如枢轴行走和翻滚。我们提出了两个毫无罗罗波茨的新设计。在第一设计中，磁体放置在主体的中心以减小磁吸引力。在第二种设计中，毫米的长度相同，具有两条额外的腿作为枢轴点。这样，我们在设计中变化分离时可以利用枢轴行走模式的变速，同时保持翻滚模式的速度恒定。本文介绍了一种具有不同长度的N毫米的位置控制的一般算法，使它们从给定的初始位置移动到最终所需位置。该方法基于选择完全可控的领导者。仿真和硬件实验验证了这些结果。
translated by 谷歌翻译
随着安装摄像头的广泛使用，基于视频的监视方法已引起了针对不同目的（例如辅助生活）的广泛关注。时间冗余和原始视频的巨大大小是与视频处理算法有关的两个最常见的问题。大多数现有方法主要集中于通过探索连续帧来提高准确性，这是费力的，不能考虑实时应用程序。由于视频主要以压缩格式存储和传输，因此在许多设备上都可以使用这些视频。压缩视频包含许多有益信息，例如运动向量和量化系数。正确使用此可用信息可以大大改善视频理解方法的性能。本文提出了一种使用残差数据的方法，该方法直接在压缩视频中可用，可以通过部分解码过程获得。此外，提出了一种积累相似残差的方法，该方法大大减少了处理识别的处理帧数。仅应用神经网络，专门用于压缩域中的累积残留物，可以加速性能，而分类结果与原始视频方法具有很高的竞争力。
translated by 谷歌翻译
在过去的几年中，机器学习（ML）技术已获得了大量的吸引力，以提高海洋车辆的自主权。本文调查了最近用于避免船舶碰撞（COLAV）和任务计划的ML方法。在概述了对海上车辆持续扩展的ML剥削的概述之后，概述了船舶任务计划中的关键主题。在技术上进行了审查和比较，并比较了与COLAV受试者直接和间接应用的著名论文。还确定了批评，挑战和未来的方向。结果清楚地表明了该领域的繁荣研究，即使在所有操作条件下能够自主性能执行的机器智能的商业船只仍然很长一段路。
translated by 谷歌翻译
本文提出了一种基于高斯工艺GP基地分割方法，该方法在概率框架中完全开发。所提出的方法倾向于获得地面的连续现实模型。 LIDAR三维点云数据用作输入数据的唯一来源。考虑到数据的物理现实，以适当地分类倾斜地面以及平板。此外，与传统的地面分割方法不同，不需要应用算法所需的高度或距离约束或限制，以考虑地面的所有关于地面的物理行为。此外，定义密度样参数以处理地面候选集中的地面状障碍点。非静止协方差内核功能用于高斯过程，通过最大后验标准应用贝叶斯推断。假设对数边缘似然函数是多任务目标函数，以表示每个帧的整个帧的非偏见视图。仿真结果表明了所提出的方法的有效性，即使在不均匀的粗糙场景中，也优于基于Gaussian进程的地分割方法。
translated by 谷歌翻译